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The method for recognition and tracking of objects on the basis of speed or depth resolved images of 
objects in a field of vision, especially for use with a motor vehicle-mounted laser scanner. Tracking is 
achieved using a model assigned to the tracked object that is used to model the time development of 
state parameters. <??>Objects are assigned to model classes and accordingly given a model type 
and a value for a corresponding model parameter. The invention also relates to a corresponding 
computer program, computer program product and a device for recognition and tracking of objects in 
the field of vision or monitoring region of a sensor, especially a laser scanner (1 2). 
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Die folgenden Angaben sind den vom Anmelder eingereichten Unterlagen entnommen 

(§) Verfaliren zur Erkennung und Verfolgung von Objekten 

@ Bei einem Verfahren zur Erkennung und Verfolgung 
von Objekten auf der Basis von bevorzugt geschwindig- 
keits- Oder tiefenaufgelosten Bildern von Gegenstanden 
in einem Sichtbereicli wenigstens eines, insbesondere an 
einem Falirzeug angeordneten, Sensors, Insbesondere ei- 
nes Laserscanners, bel dem die Erkennung und Verfol- 
gung unter Verwendung elnes jeweils einem der Objekte 
zugeordneten Modells fur die zeitliche Entwicklung von 
Zustandsparametern erfolgt, die wenigstens eine sensor- 
spezifische Eigenschaft des Objekts beschreiben, wofaei 
das Model! einen Modelltyp hat und durch wenigstens ei- 
nen ModellparametBr parametrlslerbar ist, werden zur 
Klassifizierung von Objekten mehrere Objektklassen vor- 
gesehen, die wenigstens eine Eigenschaft von Objekten 
betreffen, die aus wenigstens einem der geschwindig- 
keits- Oder tiefenaufgelosten Bilder bestimmbar ist, wo- 
bei mindestens einem Objekt eine der Objektklassen zu- 
' geordnet ist und dem Objekt in Abiiangiglceit von der zu- 
' geordneten Objektklasse ein Modelltyp und ein Wert fQr 
' den entsprechenden IModellparameter zugeordnet we^ 
den. 
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Beschreibung 

[0001] Die vorliegende Erfindung betrifft ein Verfahien znr Erkennung und Verfolgung von Objekten auf der Basis von 
bevorzugt geschwindigkeits- oder tiefenaufgelosten Bildem von Gegenstanden in einem Sichtbereich wenigstens eines, 
5 insbesondere an einem Falirzeug angeordneten. Sensors, insbesondere eines Laserscanners, bei dem die Erkennung und 
Verfolgung unter Verwendung eines jeweils einem der Objekte zugeordneten Modells fflr die zeitliche Entwicklung von 
Zustandsparametem erfolgt, die wenigstens eine sensorspezifische Eigenschaft des Objekts beschreiben, wobei das Mo- 
dell einen ModeUtyp liat und durch wenigstens einen Modellparameter parametrisierbar ist. 

[0002] Derartige Verfahren sind grundsatzlich bekannt. Sie finden besonderes Inteiesse im Hinblick auf Anwendungen 
10 im Fahizeugbeieicb, bei denen mit geeigneten Sensoren, insbesondere Lasetscannern, die an einem Fahrzeug beispiels- 
weise im Frontbereich angebracht sind, der in FahrtrichUing vor dem Fahrzeug liegende Bereich uberwacht wild. 'Van 
dem Sensor erfaBten Gegenstanden, insbesondere Fahrzeugen und/oder Personen, werden dann mittels does solchen 
Vetfabrens Objeicte zugeordnet, deren Daten zur automatischen Uberwachung des Bereicbs vor dem Fahrzeug und/oder 
der Einleitung von SicherheitsmaBnabmen und/oder sogar Eingrifien in die Steuerung des Kraftfalirzeugs verwendet 
15 werden konnen. 

[0003] Eine solche Verwendung stellt jedoch hohe Anforderungen an die Geschwindigkeit und Genauigkeit der Be- 
stimmung von Zustandsparametem der Objekte, die die Lage des jeweiligen Objekts beschreiben. Insbesondere in Fal- 
len, in denen die Daten zur Vermeidung von Kollisionen verwendet werden sollen, ist es notwendig, diese schnell, ins- 
besondere in Echtzeit, und gleichzeitig moglichst genau bereitzustellen. 
20 [0004] Es ist Aufgabe der vorliegenden Erfindung, ein gattungsgemaBes Verfahren zu schaffen, das eine schneUe Be- 
reitstellung von genauen Zustandsparametem erlaubL 

[0005] Die Aufgabe wird gelost durch ein gattungsgemaBes Verfahren mit den Merkmalen des kennzeichnenden Teils 
des Anspruchs 1. 

[0006] Bei dem gattungsgemaBen Verfahren werden Bilder eines Sensors benutzt. Hierbei kann es sich um zweidimen- 

25 sionale Bilder eines Videosensors handeln. 

[0007] Es werden jedoch bevorzugt geschwindigkeits- oder tiefenaufgeloste Bilder eines Sensors verwendet. Unter ei- 
nem geschwindigkeits- bzw. tiefenaufgelSsten Bild eines Sensors wird in dieser Anmeldung eine Menge von bei einei 
Abtastung des Sichtbereichs des Sensors erfaBten Bildpunkten verstanden, denen Punkte bzw. je nach Aufldsung des 
Sensors auch Bereicbe eines von dem Sensor erfaBten Gegenstands entsprecben, wobei den Bildpunkten der Geschwin- 

30 digkeit bzw. der Lage der zugehdtigen Gegenstandspunkte entsprechende Koordinaten in mindestens zwei Dimensionen 
zugeordnet sind, die nicht beide senlaecht zurBlictoichtung des Sensors stehen. Die Bildpunkte kQnnen weiterhin Daten 
Uber weitere, insbesondere opdsche, Eigenschaften der Gegenstandspunkte, beispielsweise deren Refiektivilfit, enthal- 
ten. Diese Daten werden im folgenden als oplische Eigenschaften der Bildpunkte bezeichnet. 
[0008] Sensoren zur Erfassung solcher geschwindigkeits- oder tiefenaufgeloster Bilder sind grundsatzlich bekannt. 

35 [0009] Hierbei kann es sich beispielsweise um Ultraschallsensoren handehi. 

[0010] Vorzugsweise werden Sensoren fur elektromagnetische Strahlung verwendet. 

[0011] Hierbei kann es sich beispielsweise um Radarsensoren handeln. Vorzugsweise werden bei diesen Geschwindig- 
keiten der Gegenstandspunkte verfolgt. 

[0012] Besonders bevorzugt kann es sich bei den Sensoren fiir eleklromagnetische Strahlung um optoelektronische 
40 Sensoren handeln, die eine gute Ortsauflosung bieten und daher fiir das erfindungsgemaBe Verfahren bevorzugt sind. So 
konnen beispielsweise Systeme mit Stereo- Weokameras verwendet werden, die eine Einrichtung zur Umsetzung der 
von den Kameras aufgenommenen Rohdaten in tiefenaufgeloste Bilder aufweisen. 

[0013] Vorzugsweise werden jedoch Laserscanner verwendet, die bei einer Abtastung dnen Sichtbereich mit minde- 
stens einem gepulsten StrahlungsbQndel abtasten, das dnen voigegebenen '\^^kelbereich Qberstreicht und von einem 

45 Punkt bzw. Bereich eines Gegenstands, meist diSiis, reflektierte S trahlungspulse des StrahlungsbOndels detektieren. Da- 
bei wird zur Entfemungsmessung die Laufzeit der ausgesandten, refldctiralen und detektierten Strahlungspulse etfaBL 
Die so erfaBten Rohdaten fiir einen Bildpunkt konnen dann als Koordinaten den Wnkel, bei dem der Reflex erfaBt 
wurde, und die aus der Laufzeit der Strahlungspulse bestinmite Entferaung des Gegenstandspunkts enthalten. Bei der 
Strahlung kann es sich insbesondere um sichtbares oder infirarotes Licht handehi. 

50 [0014] Bei der Erkennung und Verfolgung der Objekte werden bei einem gattungsgemaBen Verfahren den Objekten 
zugeordnete Modelle verwendet, die zumindest dazu dienen, zusammen mit den Daten der geschwindigkeits- oder tie- 
fenaufgelosten Bilder die Bewegung von Objekten zu verfolgen. Bei den sensorspezifischen Zustandsparametem kann es 
sich insbesondere um solche handeln, die dem TVp der von dem Sensor erfaBten Messdaten entsprecben. Bei Sensoren, 
die geschwindigkeitsaufgeloste Bilder erfassen, konnen insbesondere entsprechende, die Geschwindigkeit eines Gegen- 

55 stands bzw. des dieses darsteUenden Objekts beschreibende Zustandsvariablen, bei tiefenaufgelosten Bildem die Posi- 
tion eines Gegenstands bzw. des dieses darsteUenden Objekts verwendet werden, Im einfachsten Fall kann es sich bei den 
Zustandsparametem, mit denen wenigstens die Position eines Objekts beschreibbar ist, um Koordinaten eines Bezugs- 
punktes des Objekts, beispielsweise des geometrischen Schwerpunkts des Objekts, bandebi. 
[0015] Die Moddle konnen in bestimmte lypen eingeteilt werden und sind durch Modellparameter parametrisierbar. 

60 Die Anzahl und Art der Modellparameter ist dabei fOr den Modelltyp spezifisch, die Parametriaerung erfolgt duich Wahl 
entsprechender Werte des oder der Modellparameter. Insbesondere konnen die Modelle dazu dienen, die Position eines 
Objekts vorherzusagen, in deren Nahe dann in einem folgenden tiefenaufgelosten Bild nach dem Objekt gesucht werden 
kann. 

[0016] Um eine gute Beschreibung des Objektverhaltens durch die Modelle zu erreichen, ist ein gattungsgemaBes Ver- 
es fahren gemaB der Erfindung daduich gekennzeichnet, daB zur Klassifizierung von Objekten melirere Objektklassen vor- 
gesehen werden, die wenigstens eine Eigenschaft von Objekten betreffen, die aus wenigstens einem der tiefenaufgelo- 
sten Bilder bestimmbar ist, daB mindestens einem Objekt in Abhangigkeit von der Eigenschaft des Objekts genau eine 
der Objektklassen zugeordnet ist und daB dem Objekt in Abhangigkeit von der zugeordneten Objektklasse ein Modelltyp 
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und ein Wert fiir den entsprechenden Modellparameler zugeordnet werden. 

[0017] Eine Objektklasse zeichnet sich dabei dadurch aus, daB Objekte, denen die lOasse zugeordnet ist, Gegenstande 
mit wenigstens einer bestimmten, fiir die Objektklasse spezifischen Eigenschaft datstellen. Grundsatzlich geniigt eine Ei- 
genschaft zur Spezilikation der Objektklasse, es konnen aber auch Kombinationen von Eigenschaflen verwendet werden, 
die eine eindeutige Zuordnung erlauben. S 
[0018] Die Eigenschaf ten sind dabei vorzugsweise so gewahlt, daB sie fiir einen Gegenstand zumindest fiir den Beob- 
achtungszeitraum konstant bleiben sollten. Im Rabmen dieser Anmeldung wird unter dem Begriflf "konstante Eigen- 
schaft" auch verstanden, daB Gegenstande der entsprechenden Objektklasse eine ganze Menge von Auspragungen einer 
in einem dutch die Gegenstande der Objektklasse voigegebenen Rahmen veranderlichen Eigenschaft lunfassen kann, 
wobei die Auspragungen sich insbesondere in einem voigegebenem Rahmen auseinander entwickeh k5nnen. Die Eigen- lo 
schaft besteht dann also in der Menge der speziellen Auspragungen der veranderlichen Eigenschaft, die ein Gegenstand 
der entsprechenden Objektklasse annehmen kann. Beispielsweise kann ein Sattelzug oder ein Gelenkbus in gestrecktem 
Zustand im wesentlichen die Form eines Rechtecks aufweisen, aus der sich bei Kurvenfahrt jedoch eine sich aus dem 
Rechteck eigebende abgewinkelte, immer noch objekddassenspezifische Form entwickein kann. Unter der Form wild 
dann nicht nur die Form in gestrecktem Zustand, sondem die Menge der moglichen Formen verstanden. is 
[0019] In einem erfaBten Bild konnen einzelne aus dem Bild bestimmte Eigenschaften auch eines Objekts, das einen 
unveranderlichen Gegenstand darstellt, beispielsweise je nach Perspeklive veranderHch sein. 

[0020] Bei den Eigenschaften kann es sich um qualitative Eigenschaften, aber auch urn durch wenigstens einen Para- 
meter beschreibbare Eigenschaflen des Objekts bzw. des durch das Objekt dargestellten Gegenstands handeln, Dabei 
kann die Eigenschaft insbesondere auch darin bestehen, daB die Werte des Parameters innerhalb eines vorgegebenen In- 20 
tervalls liegen. Eine zur Zuordnung einer Objektklasse zu einem Objekt verwendete, im folgenden als definietend be- 
zeichnete Eigenschaft zeichnet sich dadurch aus, daB sie aus wenigstens einem erfaBten tiefenaufgelosten Bild ermittel- 
bar ist. 

[0021] Vorzugsweise werden die Objektklassen, d. h. die sie detinieiende Eigenschaft bzw. die sie deflnierenden Ei- 
genschaften so gewahlt, daB die Gegenstande, die diese objektklassenspezifischen deflnierenden Eigenschaften aufwei- 25 
sen, auch in bezug auf die Objekterkennung und -verfolgung so ahnlicbe Eigenschaften aufweisen, daS sie mittels glei- 
cher Modelltypen und gleicher Werte der Modellparameler beschrdbbar sind. 

[0022] Das bedeutet, daB eine Objektklasse durch wenigstens eine definierende Eigenschaft von Objekten, iiber die die 
Zuordnung eines Objekts erfolgen kann, sowie einen Modelltyp und wenigstens einen ^rt eines entsprechenden Mo- 
dellparameters fur den Modelltyp gekennzeichnet ist, 30 
[0023] Objekte werden bei gattungsgemafien Veifahien je nach Inhalt der Bilder gegebenenfaUs neu gebildet. Grund- 
satzlich geniigt es, daS mindestens einem Objekt nach seiner Bildung eine der Objelctklassen zugeordnet ist. Vorzugs- 
weise sind mehreren oder alien vorkommenden Objekten entsprechende Objekddassen zugeordnet. Weiterhin kann die 
Zuordnung einer Objektklasse zu einem Objekt dabei vor bzw. bei der Bildung des Objekts oder nach der Bildung des 
Objekts erfolgen. 35 
[0024] Durch die objektklassenabhangige Zuordnung eines Modelltyps und mindestens eines Werts fiir einen entspre- 
chenden Modellparameter kann das bei dem erfindungsgemaBen Verfahren zur Erkennung und Verfolgung von Objekten 
verwendete Modell das Verhalten des Objekts und insbesondere dessen Bewegung besser beschreiben als dies bei kon- 
ventionellen Verfahren der Fall ist, die strukturell gleiche Modelltypen und gleiche Werte fiir Modellparameter fiir alle 
bei dem Verfahren auftretenden Objekte verwenden. 40 
[0025] Insbesondere bei Verfahren, bei denen eine Vorhersage der Objeklposition anhand eines Modells eines gegebe- 
nen T/ps mit gegebenen Modellparametem erfolgt, kann bierdurch eine wesentlich genauere Wbersage erfolgen. Dar- 
Qber hinaus wird auch die Erkennung von Objekten erleichtert, da die durch diese daigestellten GegensHtade in dem oben 
beschiiebenen Rahmen ihie objektklassenspezifischen Eigenschaflen nicht Sndem sollten, so daB bei dnem bevorzugten 
Verfaliren eine Zuordnung von Bildpunkten zu einem Objekt nur erfolgt, wenn diese mit den objektklassenspezifischen 45 
Eigenschaften des Objekts konsistent sind. Ist dne Eigenschaft dadurch gegeben, daB die Wbrte eines eine definierende 
Eigenschaft beschreibenden Parameters innerhalb eines Intervalls liegen, reicht es grundsatzlicb, daS ein aus den Bildem 
bestimmter Parameter innerhalb des voigegebenen Intervalls bleibt. 

[0026] Bevorzugt konnen die Objektklassen daher nach geometrischen Parametem und/oder der Form der erkannten 
Objekte gebildet werden, wobei insbesondere im Hinblick auf die Verwendung in Fahrzeugen die Ausdehnung und Pro- 50 
portion eines Objekts, die beispielsweise durch Lange und Breite eines das Objekt umschreibenden Rechtecks gegeben 
sein kann, wesentliche Eigenschaften sind, da hierdurch Objekte mit sehr unterschiedUchem dynamischem Verhalten 
klassifizierbar sind. GroBe Kraftfahrzeuge wie zum Beispiel Lastkraftwagen und Busse konnen von kleinen Kraftfahr- 
zeugen wie zum Beispiel Personenkraftwagen und insbesondere Personen unterschieden werden, die durch unterschied- 
liche Modelltypen und/oder Werte der Modellparameter beschrieben werden. 55 
[0027] Besonders bevorzugt wird bei der Wahl der Objektklassen das mogliche dynamische Verhalten, das heiBt die 
moglichen Bewegungen, von durch die Objekte daigestellten Gegenstanden beriicksichtigt. Dies ist insbesondere im 
Hinblick auf die Vorhersage der Position von Objekten von Bedeutung, da die Abrhersage nur unter Beriicksichdgung ei- 
nes moglicbst guten Modells fiir die Bewegung eines Objekts genau erfolgen kann. 

[0028] Besonders bevorzugt ist es dabei, daB die Modellparameter fiir wenigstens eines der Objekte wenigstens einen 60 
objektklassenabbangigen Modellparameter umfassen, der zur Beschreibung des dynamischen \b:haltens des Objekts 
dient. Hierbei kann es sich insbesondere um die maximal mogliche Beschleunigung oder einen maximal moglichen 
Lenkwinkel handeln. Dariiber hinaus kSnnen als Modellparameter auch Maximalgeschwindigkeiten voigesehen sein. 
Bei einer solchen Wahl werden die sehr groBen Unterschiede insbesondere zwischen Nutzfahrzeugen, wie Lastkraftwa- 
gen und Bussen, Personenkraftwagen sowie Personen gut beriicksichdgt, so daB durch entsprechende Wahl des Modell- 65 
typs und/oder eines Werts wenigstens eines Modellparameters fiir den ModeUtyp die Beschreibung der zeitlichen Ent- 
wicklung der Zustandspatameter verbessert wird. 

[0029] Die Modellparameter mussen aber nicht nur zur Vorhersage der Bahn des Objekts dienen, sondem k3nnen auch 
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die Beschreibung von Unsicherheilen in derBabn betreffen, die durch entsprechende Varianzen bzw. Kovarianzen bei ei- 
ner stadstischen Beschreibung erfaBbar sind. Bei von Personen gesteuerten Fahrzeugen konnen solche Unsicherheilen in 
der Bahn insbesondere durch Steuer- oder Beschleunigungsvorgange, die von den Personen ausgelost werden und daher 
bei der Objekterkennung und -verfolgung nicht vorhersagbar sind, bedingt sein. 
5 [0030] Dementsprechend ist bevorzugt fiir Lebewesen, insbesondere Personen, Fahrzeuge und sonsdge Gegenstande 
jeweDs wenigstens eine Objelctklasse vorgesehen. Diese unterscheiden sich insbesondere durch ihre maximal mogliche 
Beschleunigung. Daruber hinaus ist auch im Hinblick auf die sonstigen Gegenstande eine Unterscheidung dahingehend 
moglich, daB Objekte ortsfest sind, das heiBt sich nicht bewegen konnen. 

[0031] Bevorzugt kann als Objektklasse fiir Fahrzeuge eine Objektklasse fiir Personenkraftvcagen, eine flir Lastkraft- 
10 wagen und/oder Busse, sowie eine fiir Zweirader vorgesehen sein, da sich diese im Hinblick auf die zur Klassifikation 
verwendeten, deflnierenden Eigenscbaften durch itire Ausdehnung und/oder Beschleunigung und im Hinblick auf die 
Werte von Modellparametem beispielsweise durch die Maximalbeschleunigung und/oder Maximalgeschwindigkeit un- 
terscheiden. 

[0032] Es ist besondets bevorzugt, daB zur Verfolgung von Objekten auf der Basis vorhergehender Bilder des dem Ob- 
is jekt zugeoidneten Modells neue Werte woiigstens fiir die Position mindestens eines Objekts pradizieit werden, daB fiir 
das Objekt unter Verwendung wenigstens eines objektklassenabhangigen Modellparameters ein Suchbereich in dem ak- 

tuellen Bild definiert wird, in dem nach Bildpunkten fiir das Objekt gesucht wird, und daB unter Verwendung des pradi- 
zierten Wertes wenigstens der Position des Objekts und der Lage der BUdpunkte in dem aktuellen Bild ein neuer Wert fur 
wenigstens die Position des Objekts besdmmt wird. 

20 [0033] Die Suche nach Bildpunkten fiir das Objekt kann dabei nach einer Zusammenfassung von Bildpunkten zu Seg- 
menten erfolgen, diejeweUs einen einzelnen Bildpunkt oder eine Menge aller Bildpunkte umfassen, von denen jeweils 
mindestens zwei entsprechend wenigstens einera Segmenderungskriterium als dem Segment zugehorig definiert werden, 
und die untereinander keine gemeinsamen Bildpunkte aufweisen. Bei diesem Segmenderungskriterium kann es sich ins- 
besondere um ein Kiiterium fur einen maximal zulassigen Absland und/oder einen maximal zulassigen Unterschied ei- 

25 ner opdschen Eigenschaft, insbesondere der Reflekdvitat, oder bei Verwendung geschwindigkeitsaufgeloster Bilder uin 
ein Kriterium fiir eine maximal zulassige Differenz derReiativgeschwindigkeiten handeln. Weiterhin kann bei Verwen- 
dung eines Laserscanners auch eine aus Pulsbreiten und/oder -hohen besdmmte Neigung einer Flache verwendet Vfer- 
den. Bei Verwendung von optiscben Eigenschaften kann dabei die direkt zu Bestimmung der ReflekdvitSt verwendete 
MeBgtfiBe des Sensors, bei einem Laserscanner beispielsweise Pulsbreite und/oder -h5he der reflektierten und detektier- 

30 ten S trahlungspulse verwendet werden. 

[0034] Bei der Definition des Sucbbeieicbs kSnnen insbesondere noch pi^dizierte Werte der Position verwendet wer- 
den. Die Verfolgung derObjekte kann dabei insbesondere auch auf Basis vorhergehender aus MeBwerten, die aus einem 
Bild gewonnen wurden, bestimmter Werte derZustandsparameter erfolgen. 

[0035] Das erflndungsgemafie Verfahren nach der genannten Weiterbildung fuhrt insbesondere zu besser angepaBten 

35 Suchbereichen, die damit je nach Objektklasse kleiner sein konnen als Suchbereiche bei StandardmodeUen fiir alle Ob- 
jekte, da letztere, um Objekte moglichst sicher zu finden, in jedem Fall sehr groB gewahlt werden mussen. Bei diesen ein- 
fachen Verfahren ergeben sich nicht nur groBe Suchbereiche, sondem es treten auch eher Uberschneidungen von Such- 
bereichen auf, die eine relativ kompUzierte und zeitaufwendige Behandlung von Bildpunkten in den sich iiberschneiden- 
den Bereichen erfordem. Die erflndungsgemiiB besser angepaijten Suchbereiche dagegen sind kleiner und erlauben daher 

40 zum einen aufgrund der kleineren Flache eine bessere Suche. Zum anderen werden Uberschneidungen zwischen Such- 
bereichen stark reduaert. Dadurch werden komplizierte Berechnungen zur Zuordnung von Bildpunkten oder Segmenten 
zu einem der den sich Uberschneidenden Suchbereiche entsprechenden Objekte seltener erforderdch. Weiterhin werden 
falscbe Zuordnungen von Bildpunkten oder Segmenten, die bei zu groSen Suchbereichen moglich ist, vermieden. 
[0036] Bespnders bevorzugt wird zur Objektvetfblgung ein Kalman-Filter verwendet und wenigstens eine der zur De- 

45 flnidon des Suchbeteichs verwendeten Varianzen und/oder Kovarianzen der Position fiir wenigstens ein Objekt in Ab- 
hangigkdt von wenigstens einem der objektklassenabhangigen Modellparameter bestimmt. Die bei der Kabnan-Filte- 
rung verwendeten MeBgroBen umfassen dabei insbesondere die Posidonen der Objekte bzw. entsprechenda Bezugs- 
punkte der Objekte, die aus einem erfaBten Bild ermittelt werden. Bei der \^rwendung eines solchen Kalman-Filters 
werden Werte der MeBgroBen und die Varianzen und Kovarianzen fur die Posidon eines Objekts vorhergesagt Der Such- 

50 bereich wird dann so definiert, daB das Objekt in dem aktuellen Bild mil einer voigegebenen Wahrscheinlichkeit in dem 
Suchbereich aufgefunden wird. Beispielsweise kann hier ein Wert von 99% gewahlt werden. Anhand eines pradizierten 
Wertes der die Position des Objekts beslimmenden MeBgroBe laBt sich dann die Lage des Suchbereichs und anhand der 
Varianzen bzw. Kovarianzen Form und GroBe des Suchbereichs festlegen. Durch die Abhangigkeit der Varianzen bzw. 
Kovarianzen von objektklassenabhangigen Modellparametem, insbesondere der maximalen Beschleunigung eines Ob- 

55 jekts der Klasse, kann der Suchbereich kontroUiert und genau eingeschrankt werden. 

[0037] Bevorzugt ist wenigstens eine Objektklasse fiir Gegenstande vorgesehen, die kerne Fahrzeuge sind. Fiir Ob- 
jekte, denen diese Objektklasse zugeordnet wurde, wird dann ein objektklassenabhangiger Modelllyp und/oder ModeD- 
parameler verwendet, nach dem mogUche Bewegungen des Objekts in alien Richtungen gleich behandelt werden. Ob- 
jektklassen, denen typischerweise solche Modelltypen zugeordnet werden, sind zum Beispiel Objeklklassen fur Perso- 

60 nen und sonstige, nicht naher klassifizierbate Gegenstande, von denen angenommen werden kann, daB sie sich in alien 
Richtungen gleich wahrscheinlich bewegen kSnnen und werden. Insbesondere sind mogliche Beschleunigungen in jeder 
Bewegungsricbtamg gleich. Damit eigeben sich insbesondere bei Verwendung eines Kalman-Filters gleiche Varianzen 
bzw. Kovarianzen fiir die Positionen eines Objekts in alien Richtungen. Die Isotropic eines Modells kann hauflg auch 
durch Wabl von Modellparametem erreicht werden. 

65 [0038] Weiterhin ist es bevorzugt, daB wenigstens eine Objektklasse fiir Fahrzeuge vorgesehen ist und daB fiir Objekte, 
denen eine der Objeklklassen fur Fahrzeuge zugeordnet ist, ein Modelllyp verwendet wird, bei dem dem Objekt eine Ob- 
jektlangsachse zugeordnet wird und Bewegungen des Objekts in Richtung der Objektlangsachse und solche senkrecht 
zur Richtung der Objekdangsachse unterschiedlich in dem Modelltyp beriicksichdgt werden. Hierdurch kann insbeson- 
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dere beriicksichtigt werden, daB die Beschleunigung von Fahrzeugen quer zur Fahizeuglangsachse bei noraialem Fahr- 
verhalten allenfaDs aufgrund von Lenkbewegungen erfolgen kann, wodurch eine mogliche Querbeschleunigung zwi- 
schen der letzten Messung der Position eines Objekts und einer moglichen vorhergesagten Position des Objekts und da- 
mit eine Positionsanderung in dieser Ricljtung stark eingeschrankt sind. So weist ein Fahrzeug wie ein Personenktaflwa- 
gen in Fahrzeuglangsrichtung eine andere maximale Beschleunigung auf als quer dazu. 5 
[0039] Grundsatzlich ist es hierbei moglich, daB dem Objekt niclit nur eine Achse sondem aucli eine Achsenrichtung 
zugeordnet witd, und daB Beschleunigungen in Fabrtrichtung und Bremsverzogerungen, das heiBt Beschleunigungen 
entgegen der Fabrtrichtung unterschiedlich behandelt werden. Dies ist je nach Anwendung bevorzugt, da die meisten 
Fahtzeuge bessere maximale Bremsverzogerungen als maximale Beschleunigungen aufweisen. Insbesondete kann sich 
hieraus ein giinstigerer Suchbereich eigeben. So ist bei Venvendung eines Kalman-Rlters, bei dem haufig zur Bestlm- 10 
mung der Variaozen uod Kovarianzen derPositionen und Geschwindigkdten die Beschleunigungen von Fahrzeugen be- 
riicksichtigt werden, eine gUnstige Anpassung des Suchbereichs moglich. 

[0040] Besonders bevorzugt werden fiir Objelile, denen eine der Objektldassen fUr Fahrzeuge zugeordnet ist, ModeU- 
typen verwendet, in denen kinematische Zwangsbedingungen beriicksichtigt werden. Hiermit kann der Ibtsache Rech- 
nung getragen werden, daB sich Fahrzeuge zumindest im normalen Falirbebjeb nur auf dutch Lenkausscblage bestitom- is 
ten Babnen bewegen kSnnen, wodurch insbesondere die Pradiktion der Position eines Objekts erieichtert wird. Dariiber 
hinaus kann aber aucb wie oben ausgefiihrt, eine Verkleinerung des Suchbereichs eneicht werden. 
[0041] Besonders bevorzugt kann als Modelltyp ein Ein- oder ZweispurmodeE verwendet werden. Insbesondere das 
Binspurmodell zeichnet sich durch eine veigleiohsweise geringe Anzahl von Zustandsparametem aus, wobei jedoch die 
fiir eine Objekterkennung und -vetfolgung relevanten Bewegungsformen eines Fahtzeugs beriicksichtigbar sind. "Wird 20 
ein Kahnan-Filter verwendet, konnen in diesen !l&spurmodellen insbesondere die nicht stocbastischen Beschleunigun- 
gen auf den Wert Null gesetzt werden. 

[0042] Die Zuordnung von Objekten zu Objektklassen kann aufgrund der beschtrankten Information in seltenen Einzel- 
Mllen unzutrefifend sein. Es ist daher bevorzugt, daB der Modelltyp und/oder wenigstens einer der ModeUparameter we- 
nigstens eines Objekts situationsabhangig adaptiert wird. Hierdurch k5nnen abhangig von gemessenen geometrischen 25 
und/oder dynamischen Daten eines Objekts der Modelltyp gewechselt und/oder wenigstens ein Wert wenigstens eines 
Modellparameters angepaBt werden, was mit einem Wechsel der Objektklasse einhergehen kann, aber nicht unbedingt 
muB. 

[0043] So ist erne Anpassung eines Modellparameters ohne einen Wechsel der Objektklasse insbesondere bei einer be- 
vorzugten Weiterbildung des Verfahrens moglich, bei der fiir wenigstens eine Objektklasse nur ein Wertebereich fiir den 30 
ModeUparameter bestinunt ist, wobei ein vorgegebener Standard- bzw. Defaultwert vorgesehen ist, der vor einer ersten 

Adaption verwendet wird. Der Standardwert kann dabei insbesondere so gewalilt sein, daB fiir Objekte der Objektklasse, 
die den am haufigsten vorkommenden Gegenstanden entsprechen, eine gute Beschreibung des Verhaltens eizielt wird. 
Damit kann bei der Erstzuweisung eines ModeUs ein Wert des entsprechenden Modellparameters zugewiesen werden, 
der jedoch spater verbessert werden kann. Insbesondere konnen sich im Veriauf einer Objektverfolgung aufgrund ver- 35 
scbiedener erfaBter Ansichten eines Gegenstands, dem das Objekt entspricht, die Dimensionen des Objekts verandem, 
Entsprechend der Anderung der Dimension konnen dann weitere ModeUparameter adaptiert werden. Beispielsweise ist 
es denkbar, bei sehr groBen Personenkraftwagen hohere Maximalbeschleunigungen vorzusehen. Eine solche Adaption 
des Modelltyps und/oder mindestens eines Wertes wenigstens eines Modellparameters kann dann zu einem wesentlich 
besseren Ergebnis der Objekterkennung und -verfolgung fiihren. Insbesondere konnen die oben geschilderten \brteile ei- 40 
nes reduzierten Suchbereichs erreicht werden. 

[0044] Besonders bevorzugt wird eine Adaption durchgeflihrt, wenn ein gemessener Wert mindestens eines vorbe- 
stimmten Zustandsparameters nicht konsistent ist mit einem vorheigehenden gemessenen Wert oder mit emem auf der 
Basis vorhergehender W«te des 2!ustandsparameters piSdizierten Wert des vorbestimniten Zustandsparameters. Hierbei 
kann es sich insbesondere um geometrische Abmessungen handehi, die aufgrund einer Verdeckung eines Gegenstands 45 
durch einen anderen Gegenstand oder einer ungiinstigen Perspektive zunachst nicht korrekt bestinunt wurden. Dariiber 
hinaus kann es sich auch um ungewfihnliche GeschwindigkeitsSnderungen bandeb. 

[0045] Weiterhin ist es bevorzugt, daB eine Adaption des Modelltyps durchgeflihrt wird, wenn festgestellt word, daB 
der optoelektronische Sensor einen Normalbewegungszustand verlassen hat oder in diesen zuriickgekehrt ist, Insbeson- 
dere in dem Fall, daB der optoelektronische Sensor an einem Fahrzeug befestigt ist, kann der Normalbewegungszustand SO 
dadurch definiert sein, daB das Fahrzeug nicht schleudert, das heiBt, sich im wesentbchen auf einer durch den Lenkwin- 
kel und die Geschwindigkeit und Beschleunigung des Fahizeugs bestimniten Bahn bewegt. Bei Verlassen des Normal- 
bewegungszustands ist ein fur ein Fahrzeug bevorzugt gewahltes ModeU, bei dem kinematische Zwangsbedingungen be- 
riicksichtigt werden, von seinem Typ her in der Regel nicht mehr geeignet, die Bewegung hinreichend genau zu beschrei- 
ben, so daB in der Regel ein allgemeinerer Modelltyp gewahlt werden wird, in dem die Bewegung des Objekts noch er- 55 
faBbar ist. Insbesondere im Fall eines Fahtzeugs kann beispielsweise bei Brkennen eines Scbleuderzustands ein tJber- 
gang von einem Binspurmodell zu einem einfachen isob-open Modell erfolgen, in dem die Bewegung sowohl in Sichtung 
des Fabrzeugs als aucb quer zum Fahrzeug gleich behandelt wird. 

[0046] Weitexer Gegenstand der Erfindung ist ein Computerprogramm mit Ptogrammcode-Mitteln, um das erfindungs- 
gemSBe Verfahren durchzufiihten, wenn das Programm auf einem Computer ausgefiihrt wird. 60 
[0047] Gegenstand der Erfindung ist auch em Computerprogrammptodukt mit Programmcode-Mitteln, die auf einem 
computerlesbaren Datentrager gespeichert sind, um das erfindungsgemaBe \%rMiren durchzufiihren, wenn das Compu- 
terprogrammprodukt auf einem Computer ansgefUhrt wird. 

[0048] Unter einem Computer witd hierbei eine beliebige Datenverarbeitungsvorrichtung verstanden, mit der das Ver- 
fahren ausgefiihrt werden kann. Insbesondere kSnnen diese digitale Signalprozessoren und/oder Mikroprozessoren auf- 65 
weisen, mit denen das Verfahren ganz oder in Teilen ausgefiihrt wird. 

[0049] Weiterer Gegenstand der Erfindung ist ein Verfahren zur Erkennung und Verfolgung von Gegenstanden in ei- 
nem Sichtbereich wenigstens eines Sensors, insbesondere eines Laserscanners, bei dem mit dem Sensor zeitlich aufein- 
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anderfolgende tiefenaufgeloste Bilder wenigsLens eines Teils seines Sichtbereichs erfaBl werden, und bei dem die erfaB- 
ten Bilder mit dem erflndungsgemaBen Verfahren zur Erkennung und Verfolgung von Objelcten verarbeitet werden. 
[OOSO] SchlieBlich ist Gegenstand der Erfindung eine Vorrichtung zur Erkennung und Verfolgung von Objelcten mit 
mindestens einem zur Erfassung geschwindigkeits- oder tiefenaufgeloster Bilder eines Ubenvachungsbereichs ausgebil- 
5 deten Sensor, vorzugsweise einem optoelektronischen Sensor, insbesondere einem Laserscanner, dessen Sichtbereicb 
den 'Oberwacliungsbereich einsclilieBt, und mit einer Datenverarbeitungseiniichtung, die zur Durchfiihrung des erfln- 
dungsgemafien Verfabiens ausgebildet isL 

[0051] Bevorzugt kann die Datenverarbeitungseiniichtung dazu einen Prozessor und eine Speichereinrichtung aufwei- 
sen, in der ein erflndungsgemaBes Computerprogramm zur AusfBhrung auf dem Prozessor gespeichert ist. Die Datenver- 
10 arbeitungseinrichtung kann dabei als Prozessor besondeis bevorzugt einen digitalen Signalprozessor aufweisen. 

[0052] Bevorzugte AusfQhrungsfoimen der Erfindung werden nun bdspielbafl anhand der Zeicbnungen beschrieben. 
Es zeigen: 

[0053] Fig. 1 eine schematische Draufsicht auf ein Fahizeug mit einem Laserscanner und einen Sichtbereicb des La- 
serscanners, in dem sich ein Gegenstand sowie ein bei der Objektverfolgung benutzter Suchbeieich befinden, 
15 [0054] Fig. 2 ein Ablaufdiagramm fiir ein Verfahren zur Erkennung und Verfolgung von Objekten nach einer bevor- 

zugten AusfUhrungsform der Erfindung, und 

[0055] Fig. 3 eine schematische Darstellung des Fahizeugs in Fig, 1 und eines Personenkiaflwagens sowie des bei dem 
erflndungsgemaBen Verfahren verwendeten Suchbereichs fiir das dem Personenkraftwagen zugeordnete Objekt. 
[0056] In Fig. 1 ist an der Frontseite eines Fahrzeugs 10 ein Laserscanner 12 angeordnet, dessen Sichtbereicb 14 einen 
20 Teil des in Fahrtrichtung vor dem Fahrzeug iiegenden Bereichs umfaBt. Im Sichtbereicb 14 befindet sich ein Gegenstand 
16. 

[0057] Der Laserscanner 12 tastet seinen Sichtbereicb 14 mit einem umlaufenden, gepulsten Strahlungsbiindel 18 ab 
und erfaBt die Position von Gegenstandspunkten 22, 24 und 26 des Gegenstands 16, an denen ein Puis des Strahlungs- 
biindels reflektiert wurde, anhand des Wmkels, bei dem der Strahlungspuls ausgesandt wurde, und dem Abstand zum La- 
25 seiscanner 12, der sich aus der Laufzeit des Stiahlungspulses von der Abstrahlung bis zum Empfang nach der Reflexion 
ergibt. Bei einer Abtastung des Sichtbereichs 14 wild somit ein tiefenaufgeldstes Bild erfaSt, das die bei der Abtastung 
erfaBten Rohdatenelemente bzw. Bildpunkte umfaBt, die zumindest die Eoordinaten der Gegenstandspunkte 22, 24 und 
26 entbalten, an denen das StrahlungsbOndel IS reflektiert wurde. Die Aktualisierung der vollstSndigen Bilder eiiblgt in 
einem zeitlichen Abstand T. 

30 [0058] Die von dem Laserscanner 12 erfaBten Bilder werden, gegebenenfalls nach einer Konektur der Rohdatenele- 
mente, an eine Datenverarbeitungseinrichtung 20 in dem Fahrzeug 10 ausgegeben, in der eine Weiterverarbeitung der 
Bilder stattfindet. Die Datenverarbeitungseinrichtung 20 weist dazu, in den Figuren nicht gezeigt, einen Prozessor und 
einen Speicher sowie eine Schnittstelle zur Ubertragung der Daten von dem Laserscanner auf. Weiterhin ist eine Schnitt- 
steUe zur Ausgabe von Daten an andere Dalenverarbeitungseinrichtungen in dem Fahrzeug 10 vorgesehen, die jedoch 

35 ebenfalls in den Figuren nicht gezeigt sind. 

[0059] Zur Erkennung und Verfolgung von Objekten wlrd ein Objekterkennungs- und -verfolgungsverfahren nach ei- 
ner bevorzugten AusfUhrungsform der Erfindung in der Datenverarbeitungseinrichtung 20 ausgefuhrt. Zur Objekterken- 
nung und -verfolgung wird ein Kalman-Filter verwendet, der in diesem Beispiel in linearisierter Form verwendet wird, 
Dabei bezeichnet X°(k) den Vektor mit Zustandsparametem, die den Zustand des Objekts n bei der Iteration k beschrei- 

40 ben und die Positionskoordinaten x"(k) und y"(k) eines dem Objekt n zugeordneten Referenzpunkts in einem ortsfesten 
Koordinatensystem, im Beispiel dem geometrischen Schweipunkt des Objekts, umfassen, und Z'(k) den Vektor von 
MeBgroBen fiir das Objekt n bei der Messung fiir die Iteration k, die aus erfaBten Bildem bestimmt und bei der Objekt- 
erkennung und - verfolgung verwendet werden. Die Anzahl und Art der Zustandsparameter, die einem Objekt zugeordnel 
sind, hSngt von dem Modelltyp ab, mit dem das Bewegungsverbalten eines Objekts bzw. eines durch das Objekt darge- 

45 stellten realen Gegenstands beschrieben werden soli. 
[0060] Die Gleichungen haben folgende Form 

X"(k+l) = F"X"(k) + u"(k) 

50 Z"(k) = H"X"(k) + w°(k) 

wobei F" eine Matrix ist, die die detenninisdsche Zeitentwicklung der Zustandsparameter X° des Objekts n bestinmit. 
Mit der Matrix H° sind die MeBgroBen Z° aus den Zustandsparametem X" bestimmbar. u° und w° bezeichnen jeweOs ein 
weiBes, mittelwertfreies Rauschen fiir die Zustandsparameter und die MeBgroBen, wobei u" und w° unkorreUert sind. Sie 

55 weisen aber jeweils durch eine entspiechende Kovarianzmatrix Q° bzw. R" gegebene Korrelationen auf. 

[0061] Das eigentliche Modell im Sinne der Anmeldung wird durch die erste Gleichung und die Kovarianzmatrix Q" 
gegeben. Die Angabe des Modells besteht also in der Angabe der Zustandsparameter und der MeBgroBen, sowie von 
Werten fiir die Matrizen F, H" und Q°. R" ist im wesentlichen durch die MeBgenauigkeit des Laserscanners 10 bestimmt 
und wird hier als bekannt vorausgesetzt. 

60 [0062] DieSpezifizierung derModelle anhand von Objektklassen wird nach einer tibersicht uber den Vbrfahrensablauf 
bebandelt. 

[0063] Der Ablauf des Verfahrens ist grob schematisch m Fig. 2 daigestellt. 

[0064] Bei einer neuen Iteration wird zunachst in Schiitt S 10 ein neues Bild von dem Laserscanner 12 eingelesen. 
[0065] Im Schritt S12 wird dann das Bild segmentiert. Dazu werden Bildpunkte zu Segmenten zusammengefaBt, die 
65 jeweDs einen einzetaen Bildpunkt oder eine Meoge aMer Bildpunkte umfassen, von denen jeweils mindestens zwei einen 
Abstand aufweisen, der kleiner als ein voigegebener Mindestabstand isl, wobei die Segmente untereinander keine ge- 
meinsamen Bildpunkte aufweisen Es konnen jedoch auch altemativ oder zusatzlich Reflektivitatsunterschiede zur Seg- 
mentierung verwendet werden. In Fig. 1 bilden beispielsweise die den Gegenstandspunkten 22, 24 und 26 zugeordneten 
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Rohdatenelemente ein Segment. 

[0066] Um zu erkennen, welche der im Schritt S12 gebildeten Segmente einem bereits ericannten Objekt zuzuoidnen 

sind, werden Vektoren 

Zn(k+1) S 
fiir die pradizieiten MeBgrofien und pradizierte Kovarianzmatrizen 

sn(k+i) 

fiir die MeBgniBen verwendeU Diese warden am Ende der vorheigebenden Iteration k in Schritt S14 mittels bekannter 
Fonneln fiir die Kalman-Filtemng pi^diziett In die Pradiktion der Kovarianzmatrizen 

S°(k+1) 

IS 

gehen insbesondere die Kovarianzmatrizen Q" der Zustandsparameter ein. 

[0067] In Schritt S16 wird dann unter Verwendung der pradizierten MeBgroBen und Kovarianzmatrizen ein Suchbe- 
reich festgelegt, in dem nach Bildpunkten bzw. Segmenten fur das Objekt gesucht wird. Die Lage des Suchbereichs er- 
gibt sich aus den pradizierten Werten der MeBgroBen fiir die Position des Objekts. Unter der Annahme, daB die pradizier- 
ten MeBwerte normalverteUt sind, kann eine Region angegeben werden, in der der zugehorige MeBwert ernes Objekts 20 
mit hoher Walirscheinlichkeit liegen muB. Unter Vorgabe einer Mindestwalirscheinlichkeit j, den durch Messung ermit- 
telten Vektor der MeBgroBen Z"(k + 1) in dem Suchbereich zu finden, ergibt sich der Suchbeteich fiir den Schwerpunkt 
des Objekts aus den entsprechenden Komponenten der Vektoren der MeBgroBen in der Menge alter Vektoren Y, die der 
Bedingung 

(Y - Z(k + l)] (Sn(k+i))-i (Y - Z(yt + 1)) < y 

geniigen. Bieser Bereich entspricht in Fig. 1 fOr den unten beschriebenen Modelltyp dem gezeigten Kteis 28. Als eigent- 
licher Suchbereich fiir Segmente, die den Objekten in dem Iterationsschritt zugeordnet werden konnen, wird dann der 
Bereich deflniert, der sich ergibt, wenn man, wie in Fig. 1 durch gestrichelte Linien angedeutet, ein Sechteck 30 mit der 30 
Orientierung und den AusmaBen des Objekts mit seinem Schwerpunkt iiber die Umfangslinie des Suchbereiches 28 fUr 
den Schwerpunkt, in Fig. 1 des Kteises, umlaufen laBt und die dadurch abgedeckte HSche einschlieBlich der Kteisinnen- 
fiache als Sucbbereiche fur neue Segmente definiert. Dieser eigentliche Suchboeich ist in Fig. 1 schematisch durch die 
Kurve 31 dargestellt. 

[0068] Im Schritt S18 erfolgt dann die Zuordnung von Segmenten zu Objekten. 35 
[0069] Darauf werden in Schritt S20 unter Verwendung der zugeordneten Segmente neu berechnete Eigenschaften und 
MeBgroBen der Objekte und anhand des Kalman-Filters neue Schalzwerte fiir die Zustandsparameter des Objekts berech- 
net. FUr Objekte, denen keine Segmente zugeordnet werden konnten, wird als neuer Schatzwert fiir die Zustandsparame- 
ter und die Varianzen der zuletzt pradizierte Wert verwendet. Danach wird gepriift, ob die pradizierte Varianz der MeB- 
groBen flir die Position des Objekts einen vorgegebenen Schwellwert ubersteigt. Ist dies der Fall, wird das Objekt ge- 40 
ISscht, da es dann als zu unsicher gilt. Ansonsten wird es wie ein normales Objekt weiterbebandelt. 
[0070] Konnen bei der Zuordnung von Segmenten zu Objekten im Schritt S18 Segmaite keinem Objekt zugeordnet 
werden, werden im Schritt S22 aus diesen Segmenten neue Objekte gebildet 

[0071] Nach Bildung der neuen Objekte wird diesen im Schritt S24 anhand der Gr6Be und Form der Segmente eine 
Objektklasse zugewiesen. Dazu wird das kleinste Rechteck bestunmt, das alle Funkte des Segments umfaBt, wobei ne- 45 
ben einer Anderung der Seitenl^gen des Rechtecks auch Drehungen des Rechtecks zugelassen sind. Jeder der Objekt- 
klassen ist sowobi fiir die Lange als auch die Breite eines solchen Rechtecks ein Bereich zulassiger Werte zugeordnet, so 
daB einem neuen Objekt die entsprechende Objektklasse zugeordnet wird, wenn sowohl L9nge als auch Breite in dem fiir 
die Objektklasse zulassigen Wertebeieich liegen. Gleichzeilig wird den neuen Objekten ein Modell zugeordnet, indem 
ihnen in Abhangigkeit von der zugeordneten Objektklasse ein objektklassenspezifischer Modelltyp und objektklassen- 50 
spezifische Werte fur entsprechende Modellparameter des Modelltyps zugeordnet werden. Neuen Objekten Iconnen wei- 
terhin Bewegungseigenschaften des Objekts betreffende Zustandsparameter, beispielsweise fiir die Geschwindigkeit zu- 
gewiesen werden, wobei deren Werte sich aus Plausibilitatsiiberlegungen eigeben konnen. 
[0072] Im Schritt S26 werden dann die Schatzwerte fiir die Objekte ausgegeben bzw. gespeichert 
[0073] In Schritt S 14 werden dann mittels bekannter Formeln fiir die Kalman-Fiiterung Vbktoren 55 

Z»(k+1) 

fur die pradizierten MeBgrOBen und pradizierte Kovarianzmatrizen 
Sn(k+1) 

fiir die MeBgroBen pr3diziert, woraufhin das Verfahren mit Schritt SIO fortgesetzt wird. 

[0074] Als Objektklassen sind in diesem Beispiel Objektklassen fiir Personen und Personenkraftwagen und Lastkraft- 
wagen vorgesehen. Im vorliegenden Beispiel werden die Objektklassen anhand der geometrischen Dimensionen der er- 65 

kannten Objekte zugewiesen. 

[0075] Die Objektklasse Person zeichnet sich im Beispiel dadurch aus, daB Gegenstande in der Abtastebene des La- 
serscanners eine IMngp und Breite in einem Intervall von 0,1 m bis 1 m haben. Einem Objekt 1, das dem in Fig. 1 ge- 
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zeigten Gegenstand 16 entspricht, ist im Beispiel die Obj eklklasse Person zugeordnet. Da auf der Basis der von dem La- 
serscanner 12 erfaBten Daten in aller Regel keine Orientierung der Person festgesteEt werden kann, werden als Zustands- 
parameter eines einer Person entsprechenden Objekts der geometrische Objektschwerpunkt, das heiBt genauer dessen 
Koordinaten, die Objektgeschwindigkeit und die Breite und Liinge eines das Objekt darstellenden Rechtecks verwendet. 

5 Da sicli Personen unvorhersehbar in alien mogUchen Richtungen bewegen konnen, wird als deterministischer Teil des 
Modells eine geradUnige gleichRjmrige Bewegung des Schwerpunkts, in Fig. 1 angedeutet durch den Pfeil von dem Ge- 
genstand 16 zu dem Suchbereich 28, angenonunen, wobei unvorheisehbare Schwankungen in den Positionen des 
Schwerpunkts in alien Richtungen gleich wabrscbeinlicb sind. Hierdurch kSnnen insbesondere Beschleunigungen in der 
Bewegung der Person berucksichtigt werden. 

10 [0076] Als Zustandsparameter eigeben sich damit die Positionen x und y in x- und y-Richtung, die Geschwindigkeiten 
in den beiden Koordinatenricbtungen Vx, Vy, sowie die Breite b und Lange 1 eines das Objekt darstellenden Rechtecks, 
wobei die Koordinaten und Geschwindigkeiten in dem kartesischen Koordinatensystem mit x- und y-Achsen angegeben 
siod. Der Vektor X der Zlustandsparameter fur die Iteration k lautet daher 

IS Xi(k) = (x(k). y{k), v,(k). Vy(k), b(k). mi 

[0077] Die Matrix F^atdann die Form 
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[0078] bereits ausgefObrt, werden durch das Rauschen w unter anderem Bewegungen aufgrund nicbt vo±ei5eh- 
30 barer Beschleunigungen des Gegenstands 16, d. b. bier emer Person, beriicksicbtigt. Die Kovarianzmabix Q' lautet da- 
her: 
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[0079] Hierbei bezeichnet a die maximal mOglicbe Beschleunigung fiir ein Objekt der Objektklasse Person. Die Va- 

lianzen und Kovarianzen eigeben sicb daraus, daB aufgrund einer maximalen Beschleunigung in der Zeit T maximal die 
50 Strecke 1/2 a • zuriickgelegt bzw. ach die Geschwindigkeit um maximal a • T verandert haben kann. Durch Produkt- 
bildung ergeben sich Matrixelemente fiir die Varianzen und Kovarianzen der Koordinaten und der zugeh5rigen Ge- 
schwindigkeiten, wobei die Nichtdiagonalterme sich daraus ergeben, daB eine Geschwindigkeitsanderung um a • T mit 
einer entsprechenden Anderung der Position von 1/2 a ■ korrehert ist. Als Wert fiir a wird in der Objektklasse Person 
etwa 2 m/s^ angenommen. (Jbb und Ou sind die Varianzen fiir die Breite und Lange des ein Objekt umfassenden Rechtecks 
55 und fur diese Klasse durch die Quadrate der GroBe der objektklassenspezifischen Intervalle fiir die Breite und die Lange, 
die sich jeweils von 0,1 m bis 1 m erstiecken, gegeben. 

[0080] Als MeBwerte fiir den Kalman-Filter werden die Koordinaten x und y des Objekts und die Breite b und Lange 1 
des das Objekt umschreibenden Rechtecks verwendet Das Rechteck ist das Rechteck, das die dem Objekt zuzuordnen- 
den Segmente moglichst eng umscblieBt. Daher lautet der \^ktor der MeBgroBen = (x, y, b, 1) und die Matrix H bat die 
60 Form 

1 0 0 0 0 0' 
0 1 0 0 0 0 
0 0 0 0 1 0 
P 0 0 0 0 1^ 
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[0081] Die Kovarianzmatrix ist im wesentUchen durch das Auflosungsvermogen bzw. die MeBgenauigkeit des La- 
serscanners 12 gegeben und muB hier nicht genauer beschrieben werden. 

[0082] Aufgrund der Symmetrien der Matrizen ergibt sich dann der in Fig. 1 gezeigte Icreisforaiige Suchbereich 28 fiir 
den Schwerpunld. DerMittelpunkt des Suctibereichs fiir den Schwerpunkt ergibl sicli aus den Koordinaten in dem Vektor 
der pradizierten MeBgroBe Z'. Er ist aufgrund der angenommenen gleichformigen Bewegung der Person 16 gegeniiber 
der letzten Position, wie durch den Pfeil in Fig. 1 angedeutet, versclioben. Der Suchbereicii fiir Segmente wird, wie in 
Fig. 1 durch die gestrichelt gezeigten Rechtecke 30 angedeutet, erhalten, indem ein Rechteck mit Breitenwerten und 
Langenwerten des Vektors der pradizierten MeBgroBen mit seinem Schwerpunkt auf der Begrenzungslinie des Suchbe- 
reichs 28 fiir den Schwerpunlct bewegt wird und die resultierende, von dem bewegten Rechteck 30 und dem Suchbereich 
28 fiir den Schwerpunkt abgedeckte Flache als Suchbereich 31 fiir Segmente festgelegt wird. 
[0083] In Fig. 3 befindet sich im Sichtbereich 14 des Laserscanneis 12 statt einer Person 16, die duich ein Objekt der 
Objektklasse Person daigestellt wird, ein Personenkraftwagen 32, der durch ein Objekt der Objektklasse Personenkraft- 
wagen daigestellt wild. Binem Objekt wild diese Objektklasse zugewiesen, wenn ein die Bildpunlcte umschieibendes 
Rechteck kleinster Ausdebnung eine kiirzere Seite mit Langen zwischen 1 m und 2 m und eine ISngae Seite mit Langen 
zwischen 3 m und 5,5 m aufwdst. 

[0084] Der Zustand des dem Personenkraftwagen 32 zugeordneten Objekts 2 wird ebenfalls durch die Zustandspara- 

meter Koordinaten x, y und Geschwindigkeiten v, und Vy des Schweipunkts des Objekts, einen Orientierungswinkel \)/ 
zwischen der Langsachse des Personenkraftwagens 28 und der Fahrzeuglangsachse des Fahrzeugs 10, das den Lasers- 
canner 12 tragt, sowie, wie oben, die Breite und L9nge des Objekts speidiiziert, die in dieser Reihenfblge die Komponen- 

ten des Zustandsvektors bilden. 

[0085] Wie oben wird angenommen, daB sich der Personenkraftwagen 32 bis auf Schwankungen, die durch Beschleu- 
nigung und Lenkbewegungen des Fahrers verursacht sind, geradiinig und gleichformig bewegt. Der deterministische 
Anteil der zeitliche Anderung d\(f/dt wird zu Null angenommen, was konsistent mit der Annahme ist, daB der Peisonen- 
kraftwagen sich detenninistiscb geradiinig gleicbfSrmig bewegt 
[0086] Die Matrix F^lautBtdaher 
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[0087] Als MeBgroBen werden die Koordinaten x und y des Schwerpunkts, der ^Wnkel \\f und wiederum die Lange und 
Breite des Objekts, bestimmt iiber das kleinste Rechteck, das die dem Objekt zugeordneten Bildpunkte umfaBt, verwen- 40 
det, die in dieser Reihenfolge die Komponenten des MeBvektors Z^ bilden. 
[0088] Die Matrix bat daher die Form 
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[0089] In dem Modelltyp wird weiter davon ausgegangen, daB die Zeitentwicklung des ^Mnkels y unabhSngig von der 

Richtung der Geschwindigkeiten und Vy ist. 

[0090] Die Varianzen und Kovarianzen fiir die entsprechenden Rauschterme fiir die Schwerpunktskoordinaten werden 55 
bei diesem Beispiel fiir Richtungen parallel zur Langsachse des Personenliiaftwagens 32 und senloecht dazu unter- 
schiedlich behandelt. Dazu werden die Varianzen und Kovarianzen in einem rechtwinldigen x'-y'-Koordinatensystem an- 
gegeben, dessen eine Achse durch die Langsachse des Objekts gebildet wird, das den Personenkraftwagen 32 darstellt. 
Diese werden dann durch Drehung um den Winkel \|/ in das Kooidinatensystem des Fahrzeugs 10 und von dort gegebe- 
nenfaUs durch eine weitere Drehung in das ortsfeste Koordinatensystem Qberfuhrt, in dem die Schwerpunktskoordinaten 60 
angegeben sind, Zur besseren Lesbarkeit werden im folgenden die Stiiche fiir die Koordinatenrichtung fortgelassen. 
[0091] Bin Personenkraftwagen Icann sich in einem noimalen Fabrzustand nicht beliebig quer zu seiner Langsachse be- 
wegen. Seine Bewegung in dieser Richtung ist vielmehr zusammen mit einer Bewegung in Langstichtung moglich, da 
ein Lenkwinkel von 90° nicht voigesehen ist Hierdurch eigeben sich fiir die Bewegung des Fahczeugs kinematische 
Zwangsbedingungen. 65 
[0092] In einer einfachen Naherung geht man davon aus, daB ein Fahrzeug der Objektklasse Personenkraftfahrzeug in 
Fahrtrichtung maximal mit einer Beschleunigung a von 10 m/s^ beschleunigt werden kann. Weiter wird angenommen, 
daB ein Bewegung quer zur Fahrtrichtung nur durch einen Lenkeinschlag mit einem maximalen Lenkwinkel Smax von 



9 



DE 101 48 071 A 1 



Btwa 30° moglich ist, wobei eine gewisse maximale Geschwindigkeit Vj, ab der ein Personenlcraftwagen ins Schleudem 
gerat, nicht uberschritten wird. 

[0093] Die Varianzen und die Kovarianzen fiir die Schwetpunictskoordinate und -geschwindigkeit in Richtung der 
Langsachse des Peisonenkrafiwagens 32, die auf die Beschleunigung a zudickgeben, eigeben sich wie oben aus den Ver- 

5 schiebungen qja = Vi aT^ und q^a = aT durch Produktbildung. 

[0094] Eine Bewegung auf einer Kieisbahn wird davoa als unabhangig angenommen, Bei einer Bewegung des Perso- 
nenkraftwagens auf einer Kreisbalin mit dem kleinstmoglicben Radius Ri„in, der in der Naherung eines Einspurmodells 
bei neutralem Fahrverhaiten durch den Quodenten aus Achsabstand L und maximalem Lenkwinkel Smai gegeben ist, ist 
unter der Annahme einer gleichformigen Kreisbewegung die maximale Geschwindigkeitsanderung q„y in Richtung 

10 senkrecht zu der Langsachse durch Vs sinCvsT/R) = Vs sinCfCSnai) mit K = VjT/L und die entsprechende Versctdebung qy 
durch L(l - cos(K5niax))/Sniax gegeben. Die entsprechende Geschwindigkeitsanderung qy^k durch die Kreisbewegung 
bzw. die damit vetbundene Verschiebung in LSngsrichtung sind Vs(l - cosCKSmajO) bzw. Lsin(K6nim)/8miDf We oben 
ergeben sich dann entsprechende Varianzen und Kovarianzen durch PcDduktbildung. Die maximale Anderung des Oii- 
entierungswinkels \|r durch Kreisbewegung eigibt sich in der gleichen Naherung zu K8n,u> ^ Vatianz app also zu 

15 (K5niax) . Koiroladonen zwischen der Schwerpunktsbewegung und dem Orientierungswinkel \|f werden hierbei nicht an- 
genommen. Als WertB fUr v, und L konnen entsprechende Daten fUr typische Fersonenkraftwagen verwendet werden, 
[0095] Die Kovarianzmatrix liSnnte dann beispielsweise nSherungsweise lauten 
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(Tbb und Gu sind die Varianzen fiir die Breite und I^ge des ein Objekt umf assenden Rechtecks und fiir diese Objektklasse 
durch die Quadrate der GroBe der objektklassenspezdfischen Litervalle fiir die Breite und LSnge gegeben. Die Mervalle 
fUr die Breite und die LSnge sind im Beispiel durch die Bereiche von 1 m bis 2 m bzw. von 3 m bis 5,5 m gegeben. 
[0096] Hierdurch ergibt sich, wie in Fig, 3 grob schematisch gezeigt, fur diese Klasse ein elHptischer Suchbereich 34 
35 fiir den Schwerpunkt, der daher wesentlich kleiner als ein entsprechender kreisformiger Suchbereich ist. Wie oben ergibt 
sich der Suchbereich fiir BOdpunkte bzw. Segmente durch den Suchbereich 34 fiir den Schwerpunkt und die durch eine 
Bewegung des gestrichelt gezeichneten Rechtecks 36 uberdeckte Flache, bei der das Rechteck 36 mit seinem Schwer- 
punkt entlang des Umfangs des Suchbereichs 34 fiir den Schwerpunkt bewegt wird. 

[0097] Hierdurch wird die Zuordnung von Segmenten zu zwei nahe beieinanderliegenden Objekten wesentlich erleich- 
40 terl, da eine Uberschneidung der Suchbereiche wesentlich seltener aufttitt und daher wesentlich hSuGger eine eindeutige 
Zuordnung der Segmente ohne weitere Plausibilitatspriifungen moglich isL 

[0098] Es ist weiterhin eine Objektldasse fiir Lastkraftwagen voigesehen, die sich von der fiir Fersonenkraftwagen 
durch die Angabe andeier LSngen- und Breitenintervalle sowie anderer Werte fiir die ModeUparameter a, Vs und Smu un- 
terscheidet, wobei jedoch der oben beschiiebene Modelltyp dergleiche ist wie bei Peisonenkraflwagen. Ein Objekt wird 
45 der Klasse Lastkraftwagen zugeoidnet, wenn dessen I^ge in einem Intervall zwischen 5 m und 20 m und dessen Breite 
im Intervall von 2 m bis 3 m liegt. 

[0099] Da die maximale Beschleunigung fiir Lastkraftwagen einen wesentlich geringeren Wert von etwa 1 m/s^hat, als 
Fersonenkraftwagen, wird sich als Suchbereich eine weniger ausgepragte Ellipse als im Fall eines Objekts der Klasse 

Fersonenkraftwagen ergeben. 

50 [0100] Bei dem Modelltyp fiir Fersonenkraftwagen und Lastkraftwagen werden die Orienderung des Falirzeugs und 
die Bewegungsrichtung unabhangig behandelt. Dies ermoglicht es, auf einfache Weise Schleuderzustande festzustellen, 
indem iiberpriift wird, ob der Winkel des Vektors der Personenkraftwagengeschwindigkeit bis auf die fiir Kraftfahrzeuge 
iiblichen Abweichungen mit dem Orientierungswinkel \|; iibereinstimmt. 

[0101] Bei einer weiteren Ausfiihrungsform ist daher eine vierte Objektklasse fiir unbekannte Gegenstande voigese- 
55 hen, die dadurch definiert ist, daB sie alien Objekten zugeordnet wird, denen keine andere Objektklasse zugeordnet wer- 
den kann. Nach Schritt S14 und vor Schritt SIO wird iiberpriift, ob der Wmkel des Vektors der Personenkraftwagenge- 
schwindigkeit bis auf die fiir Kraftfahrzeuge iiblichen Abweichungen mit dem Orientierungswinkel i(» iibereinstimmt Ist 
dies nicht der Fall, wird das Modell aufgegeben. Dem Objekt wird die Objektklasse fiir unbekannte Gegenstande zuge- 
ordnet. Fiir Objekte dieser Objektklasse wird der gleiche Modelltyp verwendet wie fiir Objekte der Objektklasse Perso- 
60 nen, wobei jedoch keine Beschrankung der Lange und Breite vorgesehen und die Beschleunigungen und damit die Va- 
rianzen und Kovarianzen wesentlich gi36er gewShlt sind. 

[0102] In diese Objektklasse fur unbekannte Gegenstande werden auch Objekte eingeordnet, denen nur ein oder zwei 
Bildpunkte zugeordnet and, und die sich in einer gioBen ^t&mung von dem Laserscanner befinden. Solche Objekte 
k5nnen aufgrund der begrenzten AuflSsung des Laserscanners bei groBen Entfemungen n&nlich nicht genauer klassifi- 
65 ziert werden. Itasbesondere ist eine Zuordnung einer Orienderung anhand der MeBdaten nicht m5glich. Eine solche 
konnte nur aus Annahmen iiber die Fahrzeuggeschwindigkeit reladv zur Lage der L3ngsachse des Fahizeugs abgeleitet 
werden. 
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Bezugszeicbenliste 

10 Fahrzeug 
12 Laserscanner 
14 Sichtbereich 
16 Person 

18 Strahlungsbiindel 

20 Datenverarbeitungseiniichtung 

22 Gegenstandspunkt 

24 Gegenstandspunkt 

26 Gegenstandspunkt 

28 Suchbereich fOrSchweipunkt 

SOSecbtBck 

31 Suchbereich fur Segmente 

32 Fersoneokraftwagen 
34 Suchbereich 
36Rechteck 

PatentansprOche 

1. Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von bevoizugt geschwindigkeits- oder tie- 
fenaufgelosten Bildem von Gegenstanden (16, 32) in einem Sichtbereich wenigstens eines, insbesondere an einem 
Fatirzeug (10) angeordneten, Sensors, insbesondere eines Laserscanners (12), bei dem die Erkennung und Verfol- 
gung unter Verwendung eines jeweils einem der Objekte zugeordneten Modells fur die zeiUiche Entwicklung von 
Zustandsparametem erfolgt, die wenigstens eine sensorspezifische Eigenschaft des Objekts beschreiben, wobei das 
Modell einen Modelltyp hat und durch wenigstens einen Modellparameter parametrisierbar ist, dadurch gckcnn- 
zeichnet, 

daB zur Klassifizierung von Objekten mebrere Objektklassen voigeseben wetden, die wenigstens eine Eigenschaft 
von Objekten betreffen, die aus wenigstens einem der tiefenaufgel6sten Bilder bestimmbar ist, 
daB mindestens einem Objekt eine der Objektklassen zugeordnet ist, und 

daB dem Objekt in Abhangigkeit von der zugeordneten Objektklasse ein Modelltyp und ein ^rt fiir den entspte- 
chenden Modellparameter zugeordnet werden. 

2. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, daB die Modellparameter fiir 
wenigstens eines der Objekte wenigstens einen objektklassenabhangigen Parameter umfassen, der zur Beschrei- 

bung des dynaniischen Verhaltens des Objekts dient. 

3. Verfahiren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daB flirLebewesen, insbesondere Personen C16), fiir 
Falirzeuge (32) und fiir sonstige Gegenstande jeweils wenigstens eine Objektklasse vorgesehen ist. 

4. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, 

daB zur Verfolgung von Objekten auf der Basis vorhergehender Bilder des dem Objekt zugeordneten Modells neue 
Werte wenigstens fiir die Position mindestens eines Objekts pradiziert werden, 

daB fiir das Objekt unter Verwendung wenigstens eines objektldassenabhangigen Modellparameters ein Suchbe- 
reich (28, 34) in dem aktuellen Bild definiert wild, in dem nach Bildpunkten fiir das Objekt gesucht wird, und 
daB unter Verwendung des pradizierten Wettes wenigstens der Position des Objekts und der Lage der Bildpunkte in 
dem aktuellen Bild ein neuerWert fiir wenigstens die Position des Objekts bestimmt wird. 

5. VeiMiren nach Anspruch 4, dadurch gekennzeichnet, daB zur Objektverfolgung ein Kahnan-Filter verwendet 
wild, und wenigstens eine der zur Definition des Suchbereicbs (28, 34) verwendeten Varianzen und/oder Kovaiian- 
zen der Position f(ir wenigstens ein Objekt in AbhSngigkeit von wenigstens emem der objektklassenabbSngigen 
Modellparameter bestimmt wird. 

6. Verfahren nach einem der voAergehenden AnspSiche, dadurch gekennzeichnet, 

daB wenigstens eine Objektklasse fiir Gegenstande (16), die keine Fahrzeuge sind, vorgesehen ist, und 
daB fur Objekte, denen diese Objektklasse zugeordnet wurde, ein objektklassenabhangiger Modelltyp und/oder Mo- 
dellparameter verwendet wird, nach dem mogliche Bewegungen des Objekts in alien Richtungen gleich behandelt 
werden. 

7. Verfahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, 

daB fur Objekte, denen eine der Objektklassen fiir Fahrzeuge (32) zugeordnet ist, ein Modelltyp verwendet wird, bei 
dem dem Objekt eine Objektlangsachse zugeordnet wird, und 

daB Bewegungen des Objekts in Richtung der Objektlangsachse und solche senkrecht zur Richtung der Objekt- 
langsachse unterschiedlich in dem Modelltyp beriicksichtigt werden. 

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daB fiir Objekte, denen eine der Objektklassen fur Fahr- 
zeuge zugeordnet ist, ein objektklassenspezifischer Modelltyp verwendet wird, in dem kinematische Zwangsbedin- 
gungen beriicksichtigt werden. 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daB dn Em- oder Zweisputmodell verwendet wud. 

10. Veifahren nach einem der vorhergehenden Anspriiche, dadurch gekennzeichnet, daB der Modelltyp und/oder 
wenigstens einer der Modellparameter wenigstens eines Objekts situationsabhSngig adaptiert wird. 

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daB fiir wenigstens dne Objektklasse em Wettebereich 
fiir den adaptierbaren Modellparameter bestimmt ist, wobei ein voigegebener Standard- bzw. Defaultwert vorgese- 
hen ist, der vor einer ersten Adaption verwraidet wird. 

12. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, daB dne Adaption durchgefiihrt wird, wenn ein 
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gemessener WerL mindeslens eines vorbeslimmten Zuslaodsparameleis nichl konsislent ist mit einem vorheigehen- 
den gemessenen Wert oder mit einem Wert des vorbestimmten Zustandsparameters, der auf der Basis vorheigehen- 
der Werte der Zustandsparameter pradiziert wurde. 

13. Verfahren nach einem der Anspriiche 10 bis 12, dadurch gekennzeichnet, daB eine Adaption durchgefiihrt wird, 
5 wenn festgestellt wird, dafi der Sensor (12) einen Normalbewegungszustand verlassen hat oder in diesen zuriickge- 

kehrt ist. 

14. Computerprogranun mit Programmcode-Mitteln, um das Verfatiren nach einem der Anspriiche 1 bis 13 durch- 
zufuhren, wenn das Ptogramm auf einem Computer ausgefubrt wird. 

15. Computerprogiaramprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datentrager gespei- 
10 chert and, um das Verfahren nach dnem der Anspriicbe 1 bis 13 durcbzufUhten, wenn das Computerprogrammpro- 

dukt auf einem Computer ausgefuhrt wild. 

16. Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem zur Erfassung bevotzugt ge- 
schwindigkeits- oder tiefenaufgelSsterBilder eines t)berwacbungsbereicbs (14) ausgebildeten Sensor, insbesondeie 
einem Laserscanner (12), dessen Sichtbereich (14) den 'Oberwachungsbereich einschlieBt, und mit einer Datenver- 

15 arbdtungseinricbtung (^), die zur DurchfQhrung des Verfahrens nach einem der Anspriiche 1 bis 13 ausgebildet ist 
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